Skip to content

Opt in to sampled local work probes from SForge heartbeat - #8263

Merged
huangruiteng merged 1 commit into
mainfrom
codex/edgebench-main-local-probe-20261107
Nov 7, 2026
Merged

huangruiteng merged 1 commit into
mainfrom
codex/edgebench-main-local-probe-20261107

Conversation

@loopx-agent

Copy link
Copy Markdown
Collaborator

A SForge heartbeat can select --execution-observation local_probe to run a candidate-bound local command under the existing worker budget. The installer verifies the exact staged Python entrypoint as the worker user and preserves the task working directory for relative candidate paths. Worker and trial receipts identify the explicit selection. Omit the flag to use the ordinary profile.

An opted-in Linux probe can pass --memory-limit-bytes as a comparison reference. The sidecar retains sampled process-group PSS with the candidate and input revision. Samples are sequential estimates. The command result remains available if the sidecar write fails. The shared probe and the SForge path form one mainline proposal for #8249 and #8252.

Validation

  • Five Linux cases on the proposed head exercise real commands, full-workload memory comparisons with equal outputs, a kernel file-size failure, missing samples and changed candidate evidence.
  • Eight SForge and Harbor cases on the proposed head exercise selected, omitted and incompatible CLI profiles. The real generated wrapper accepts a relative candidate and withstands workspace import shadowing. Missing interpreter and symlink paths fail selected setup.
  • Five direct premerge checks and ten selected canaries had zero failures. The benchmark-sensitive maintainer-review hold remains. The broad macOS run on the initial main base had five scheduler fixture failures, all reproduced on the untouched base. The focused producer and installer checks passed.

Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>

@loopx-agent loopx-agent left a comment

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Reviewer: model_agent, gpt-6.1-sol, OpenAI, runtime_reported, reasoning_effort=max

Approval conclusion (author-owned PR; GitHub blocks formal self-approval)

当前提交的代码评审未发现阻塞项。benchmark 的人工核验门仍适用。

动机 / Motivation

用 SForge 跑 heartbeat 工作的研究者,可能需要在一次候选执行里同时看结果、耗时和内存占用。 旧版只有 Harbor 能安装本地探针,SForge 的命令行拒绝这个选项。只看总耗时或逐个测 worker,容易漏掉并行候选同时保留数据的开销。 现在可在 SForge 启动时选用同一个探针,用相对路径运行候选并取得主观测。需要内存信息时,可以一并记录 Linux 进程组逐 PID 的 PSS 估计,也就是把共享页按比例分摊后的内存占用。 本次交付覆盖本地命令观测和证据归因。容器限额、评分和后续工作选择各有自己的依据。 证据来自合成任务与真实 Linux 进程。真实 SForge 模型是否采纳这些观测,以及采用后的长期收益,仍待实测。

改动思路 / Approach

选择由 EdgeBench CLI 进入 SForge,再交给现有 Harbor 安装器。探针负责同一次执行的测量与留存,Explore 和 Yardstick 沿用各自的归因和后续决策路径。 本 PR 交付显式启用的 SForge 入口、隔离的共享启动脚本和可选 PSS 侧车。 同一命令同时保存主结果和可选内存诊断,避免为了测量再跑一次候选。评审沿 CLI、实际执行、故障和读回走完一次普通任务。这里沿用了仓库经验中核对首个可用结果的做法,实际采用仍由对应运行证明。

具体改动 / Changes

  • explicit-worker-selection 检查 main 与 SForgeWorker.install_stop_hook 的转发和回执。同一 SDK 下,省略参数时两版的 SForge runner 和 worker 回执键、选择和引导一致,Harbor 也不创建 wrapper。 native-goal 带选项返回 2,未创建 trial。缺解释器和预置 symlink 的用例在模型调用前报错。 CLI · SForge
  • candidate-input-attribution 检查 BenchmarkCodex.install。同一含伪造 benchmark 模块的工作目录中,基线启动了伪模块并返回 0,主观测缺失。当前头运行暂存源码,候选读到相对路径文件,伪模块未执行。 安装以 worker 身份读取一次帮助,实际调用保留任务 cwd。 安装器
  • diagnostic-failure-and-meaning 检查 run_probe 和 _group_pss_sample。参考值 64 MiB 时,两个稳定阶段分别为 50,530,304 B 和 50,569,216 B,逐 PID 估计达 79,940,608 B。当前头只保存诊断,实测证据没有产生超限状态或后续动作。 Linux /dev/full 仅使可选侧车写入失败。候选 exit 0、stdout 与主 JSON 保留,失败侧车不附摘要。短写用例保留原退出 7。 采样与持久化
  • ordinary-followthrough 原 File 和 SQLite 入口在 stride off 写回真实观测并遵守 Stop,另有普通下一工作沿已有状态接续的确定性用例。 既有观测契约同时约束四项,按基线 4a33eb4b57c69f96528a678acaaf9362f4d373f4 的选择、原 Goal 和归因章节核对。 基线规格 · 普通入口用例

对主干的风险 / Risks

无内存参数时,两版真实进程 exit 7、超时 124、候选发生修改时拒绝归因,均无内存侧车。 Exact head 上 27 个 Linux 用例通过。把 exact head 合成到 b9b2501 后,安装、CLI 选项、wake 和恢复组合 72 通过,1 个需显式启动 Docker 的恢复用例跳过。 Ruff 工作流范围通过,quick premerge 的 5 个直接检查和 3 个选中 canary 通过,benchmark 人工门保留。

基线 432 通过,当前头 440 通过,macOS 跳过两个 Linux 项。相同五个 scheduler 参数用例均报 KeyError 'should_run',同一 Harbor deadline fixture 均未抛出预期 TimeoutError。Linux 上另行验证受影响入口。 原调度与 deadline 分支未因本 PR 改动。PSS 受进程组范围和采样间隔限制,比较是否真的同时占用仍需要独立证据。

我的整体评价 / Verdict

批准当前提交 8ecae0c1a27164cf321363d4d7f7ba09601a8290 的代码评审。该切片沿用共享安装器和已有证据接口,打开选项时可取得归因到候选的实际结果。受影响的界面是 CLI、worker 引导和回执。 验证覆盖源码入口与合成运行,实际模型调用及安装后的服务体验未实测。 仓库的合并授权和人工核验单独判断。

English verdict: APPROVE the exact head. SForge can opt in to the shared probe, and optional PSS retention failures preserve the candidate result. Local evidence covers the affected entrypoints. Live model adoption remains unverified.

@huangruiteng
huangruiteng merged commit 860a3e4 into main Nov 7, 2026
20 of 34 checks passed
@huangruiteng
huangruiteng deleted the codex/edgebench-main-local-probe-20261107 branch November 7, 2026 09:11
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants